Tư Mã Đức Văn sinh vào năm 386, cha là Tấn Hiếu Vũ Đế và mẹ là thiếp Trần Quy Nữ, ông là con trai thứ hai, sinh sau Tư Mã Đức Tông bốn năm. Trái ngược với một Tư Mã Đức Tông "phát triển chướng ngại", Tư Mã Đức Văn được mô tả là một đứa trẻ thông minh. Từ lúc thơ ấu, ông đã quen với việc chăm sóc anh trai, có lẽ đặc biệt là sau cái chết của mẹ vào năm 390. Mặc dù Tư Mã Đức Tông có khuyết tật về trí tuệ, song Hiếu Vũ Đế vẫn lựa chọn người con trai lớn kế vị. Vào năm 387, khi Tư Mã Đức Tông lên 5 tuổi và Tư Mã Đức Văn mới 1 tuổi, Tư Mã Đức Tông được lập làm thái tử. Năm 392, Hiếu Vũ Đế lập Tư Mã Đức Văn làm Lang Da vương, tước hiệu vinh dự thứ hai của các hoàng tử và thân vương và chỉ sau thái tử. Năm 396, Hiếu Vũ Đế bị người thiếp là Trương quý nhân giết chết, Tư Mã Đức Tông lên ngôi hoàng đế. Tư Mã Đức Văn tiếp tục chăm sóc cho sinh hoạt hàng ngày của hoàng huynh.